VACE Extensionで動画を滑らかにループさせる
Loop Anything with Wan2.1 VACE V2
https://gyazo.com/d2b6874f4fea944fd8ddf8fd0d4ed5b9
https://openart.ai/workflows/nomadoor/loop-anything-with-wan21-vace/qz02Zb3yrF11GKYi6vduWan2.1_VACE_Extension_loop_V2.json
Loop Anything with Wan2.1 VACE
https://gyazo.com/970a85b5fb1deec96782759f8a343cac
https://openart.ai/workflows/nomadoor/loop-anything-with-wan21-vace/qz02Zb3yrF11GKYi6vduWan2.1_VACE_Extension_loop.json
入力動画の最後の15フレーム → 51フレームの空白 → 最初の15フレームをVACEに入力して空白の期間を生成させる
https://gyazo.com/98a913487d76df39e4747c57a0676286https://gyazo.com/7e8deb0b28623921172baeeb26cf9de1
https://gyazo.com/a08b1013378047aba6328e9d7263d3fdhttps://gyazo.com/274f8a035cb6e21988cd0f40510083cc
VACEでExtensionをすると色が変わる問題があるっぽいnomadoor.icon
cf. https://github.com/ali-vilab/VACE/issues/44
実際、車の方はループスタート地点で明るくなってる
ComfyUI-KJNodesのColor Matchノードで多少マシになる
ただ、生成してない部分まで色が変わるので全然ベストではない
https://gyazo.com/3b1ea8b914d0ef09ad351ad75d7ce83d
Color Match.json
Skip Layer Guidanceが原因っぽいな
VACE Extensionで動画を滑らかにループさせる#683a83ad000000000022db79
CausVid LoRA版
https://gyazo.com/7c01a3aaa08286e469e56427923ffa73
Wan2.1_VACE_Extension_loop_CausVidLoRA.json
CausVid v1 /v1.5 / v2
https://gyazo.com/1f35fc59dba21f3f0a552b0626c23434https://gyazo.com/586580bb11dfa9f269d122f0ac50ef79https://gyazo.com/0cad1b3f8d00d7f4bc20e4c60e13c6c3
wrapperのほう使わないと正しく動かないのかもな…nomadoor.icon
これを応用して別の動画同士を繋げんかとやってみたけど上手くいかないnomadoor.icon
VACEはあんまり変化の激しいのはムリなのかも
参考
https://gyazo.com/c375566187e18bf9bc292e0bfc355962
Wan2.1_VACE_Extension_transition.json
https://gyazo.com/a42207163aeb55fb9e2d59f2b641b0ef
Redditの皆様から寄せられたコメント
https://www.reddit.com/r/StableDiffusion/comments/1ktljys/loop_anything_with_wan21_vace/Loop Anything with Wan2.1 VACE
VRAM12gbで動く？
GGUF/fp8使えば動くよ(nomadoor.iconは4070ti)
Kijai版で出来る？
多分おそらくきっと出来る
生成されたフレームの初期の色がちょっとおかしい
分かるnomadoor.icon
ちょっと白くなる
原因はわからないのでひとまずcolor matchでなんとかする
試してみたけどこの動画では上手く行かない(プロンプトに従わない)
VACEを使うとびっくりするほど柔軟性がなくなるnomadoor.icon
大仰にollama使ってプロンプト作ってるけど、そんなに凝ってプロンプト作る意味多分ないね
VACE Extensionで動画を滑らかにループさせる#682fc0be000000000056cbd7が上手くいかなかったのも多分そのせい
のりしろが15フレームあるのを1フレームにすればプロンプトに従うけど、VACEを使う意味がなくなる
Experiment🤩☺️😑😕
😑Referenceなし / SLGあり / UTAMあり / CFG0*あり
上のworkflow
https://gyazo.com/274f8a035cb6e21988cd0f40510083cc
☺️Referenceなし / SLGなし / UTAMなし / CFG0*なし
https://gyazo.com/e30ff52ce808c91b66fa52e0cece6beb
☺️Referenceなし / SLGなし / UTAMあり / CFG0*あり
https://gyazo.com/b3c3835c892af3054ce83e7742f2a33f
☺️Reference追加 / SLGなし / UTAMなし / CFG0*なし
https://gyazo.com/a8c5ab983c1bc274707af65347cab383
☺️Reference追加 / SLGなし / UTAMなし / CFG0*あり
https://gyazo.com/35897a5970ac72bc4b9c2a1ce8b8ccc3
☺️Reference追加 / SLGなし / UTAMあり / CFG0*なし
https://gyazo.com/e2ced82259fe30691dae5d7ef3aea1dd
🚨😑Reference追加 / SLGあり / UTAMなし / CFG0*なし
https://gyazo.com/7af6187a5581891cb5b92cb41e07e0e7
🤩Reference追加 / SLGなし / UTAMあり / CFG0*あり
https://gyazo.com/879740657e10327fcd7b77b92911d6e6
😑Reference追加 / SLGあり / UTAMあり / CFG0*あり
https://gyazo.com/5d337828485ac8994dd50e0c5f5655f2
😕Reference追加 / SLGあり / UTAMあり / CFG0*あり / マスクをnoeからlinearへ
$ 0:(1.0),15:(0.0),66:(0.0),81:(1.0)
https://gyazo.com/993bcf8364c546f6e337f50a30c23750
😕Reference追加 / SLGあり / UTAMあり / CFG0*あり / マスクをnoeからlinearへ / Differential DIffusion追加
https://gyazo.com/88cf3784702b742cf9b5eb04ad52a8ea
#🦊Wan2.1_VACE
#VACE
ComfyUI_workflow